Amazon Bedrock

• 可以自訂義模型，利用Fine-tuning或是Continued Pre-training使用更多資料強化模型

Amazon Bedrock - fine-tuning

• 使用資料訓練FM的副本，訓練資料不會用於FM本身而是在他的copy上
• 再有良好參數上的FM，使用自己準備的資料微調參數使模型獲得更好的性能
• 訓練資料有特定格式並存於Amazon S3上
• 必需先使用Provisioned Throughput才能使用微調後的模型(這個與on-demand付費模式不同)
• 並非所有模型都能fine-tuning，這點要注意

Instruction-based Fine Tuning

• 提升FM在特定領域上的性能，也就是針對特定知識上在進一步訓練
• labeled examples，人工標註好的資料；prompt-response，比如問題與答案給模型學習

Continued Pre-training

• 提供unlabeled data繼續訓練FM
• 也稱為domain-adaptation fine-tuning，使模型成為專業領域的專家
• ex:將專業領域術語輸入模型
• 隨著更多訓練資料，模型可以持續訓練

Single-Turn Messaging

• 也是一種Instruction-based Fine Tuning
• 包含system(可選)、messages、role、content
• fine tuning 模型該如何像chat bot回答(單次回答)

Multi-Turn Messaging

• 提供對話式Instruction-based Fine Tuning
• 多輪對話環境
• 模型角色在user和assistant之間交替

Fine Tuning所需成本比重新訓練模型的成本更低，並且要準備資料以進行微調並評估模型(adapt to a new related work)

Transfer Learning

• 重複使用pre-train model，並將其調整以適應新的相關任務。ex: image、NLP(BERT、GPT)
• Fine-tuning是Transfer Learning的一種種類

fine-tuning的使用情境

• 針對特定目的設計的chatbot
• 使用比FM原本的訓練資料更新(new)、高品質的資料、專有資料進行訓練